Закомитил в репозиторий https://github.com/Koziev/SentimentAnalysis все свои черновики, разработанные примерно год назад.

1. Редактор Оценок - десктопная прога на C# WinForms, работающая с текстами в БД SQLite. Позволяет быстро расставлять и редактировать оценки, а также выгружать корпус в текстовый формат (CSV с табуляцией в качестве разделителя ( Read more... )

Продолжаю проверку модели sentiment analysis ( http://kelijah.livejournal.com/200675.htmlПосле того, как модель обучена, ее можно использовать для оценки всего набора предложений в отзывах ( Read more... )

В исходной постановке моей задачи оценки сентимента есть такой момент.
Для каждого предложения, в которой есть оценка какого-то аспекта, необходимо получить еще и непосредственное оценивающее словосочетание, например:

Исходное предложение: суп был очень вкусный
Оценивающее словосочетание: очень вкусный суп

( Read more... )

1. Если мы имеем отдельные алгоритмы для вычисления полярности и для определения упоминания аспекта в предложении, можно без особых модификаций кода сделать замечательный парсинг строки запроса в векторную форму и затем поиск отзывов под запрос.

Допустим, пользователь ввел с клавиатуры или наговорил "хочу лазурный берег или испанское ( Read more... )

После того, как нормально заработало определение полярности предложения в отзыве, осталось научиться определять, к чему относится найденный знак (определять тему сообщения, или упоминание аспекта). При этом в одном предложении могут быть упомянуты несколько аспектов, например:

Чистота, красивая территория, номера точь-в точь как на фото, аниматоры ( Read more... )

(продолжение этих экспериментов)

( Точность моделей и примеры классификации... )

Итак, на "прямоточной" feedforward сетке с 4 слоями корпус оценок начал обрабатываться с точностью до 91% (тут http://kelijah.livejournal.com/199059.html). При этом на входе были word2vec векторы слов без лемматизации. В принципе, уже неплохо. Но!

Оказалось, что если взять сверточную сетку, подать ей лемматизированные предложения с cutoff по ( Read more... )

За несколько месяцев удалось подобрать архитектуру БД и схему распараллеливания задач, обеспечивающих достаточно неплохое быстродействие. В итоге, 6-ядерный Зеон со 128 Гб на борту удалось грузить более чем наполовину, а иногда и почти на 90%, привет глобальному потеплению:
( Read more... )

Сделал очень простой алгоритм, который подбирает правильный порядок слов в ходе нормализации словосочетаний.

Выдержка из результатов тестового прогона по моей базе оценок из отзывов:

( перестановочная нормализация словосочетаний... )

Не претендую на фундаментальность вывода.
Разбор примерно 7000 отзывов по отдыху на острове в средиземноморье немного удивил.
Вот top-10 словосочетаний после подбивки статистики:
( Read more... )